#coding:utf-8
import networkx as nx
from networkx.algorithms import bipartite
import pandas as pd
import numpy as np
import re
from IPython.display import display, HTML
import matplotlib.pyplot as plt
import os
import cn2an
import chinese2digits as c2d
import operator
import plotly.express as px
import plotly
import plotly.graph_objects as go
import plotly as py
import plotly.offline as offline
offline.init_notebook_mode(connected=True)
from urllib.request import urlopen
import json
import requests
from plotly.subplots import make_subplots
from collections import Counter
from ipynb.fs.full.case_to_graph_only_method import convert_csv_graph, provinces_map

base_url = "/Users/starice/Desktop/total_extracted_result/"
pre_dir = ['type1', 'type2', 'type3', 'type4']
dir_name = ['2014', '2015', '2016', '2017', '2018', '2019', '2020']
dir_sname = ['1', '2', '3', '4', '5', '6', '7', '8', '9', '10', '11', '12']
# csv_graph, _new_csvpd = convert_csv_graph(pre_dir[:], dir_name[:], dir_sname[:])
csv_graph = nx.read_gpickle("/Users/starice/Desktop/csv_graph.gpickle")

# 在后面绘制地区区域划分图会用到
# with open("/Users/starice/OwnFiles/cityu/RA/code/case_process/china_province.geojson") as f:
#     provinces_map = json.load(f)
mapbox_access_token = "pk.eyJ1Ijoic3RhcmljZSIsImEiOiJjazN6Y2s5dTUxY2R6M2xxcHllbXk4YWFzIn0.lActFqLzqRWGn7dqr4BShw"
px.set_mapbox_access_token(mapbox_access_token)

1. 获取所需数据

plaintiff_titles = ['上诉人', '上诉人(一审原告)', '上诉人(一审第三人)', '上诉人(原告)', '上诉人(原审原告)', '上诉人(原审原告、反诉被告)', 
                   '上诉人(原审原告人)', '上诉人(原审第三人)', '公益诉讼起诉人', '再审申请人', '再审申请人(一审原告)',
 '再审申请人(一审原告、二审上诉人)',
 '再审申请人(一审原告、二审被上诉人)', '再审申请人(原审原告)',
 '再审申请人(原审原告、二审上诉人)', '再审申请人:(一审第三人、二审上诉人)', '原告',
 '原告(反诉被告)', '抗诉机关', '支持起诉人',
 '支持起诉机关', '申诉人(一审原告、二审上诉人)',
 '申诉人(一审原告、二审上诉人、再审申请人)',
 '申诉人(一审原告、二审上诉人、原再审申请人)',
 '申诉人(一审原告、二审被上诉人)',
 '申诉人(原审原告)',
 '申请再审人(一审原告、二审上诉人)', '被上诉人(一审原告)', '被上诉人(原审原告)',
 '被上诉人(原审原告、反诉被告)', '被上诉人(原甲原告)',
 '被上诉人一(原审原告)',
 '被上诉人一(原审被告一)',
 '被上诉人二(原审被告二)', '被申请人(一审原告、二审上诉人)',
 '被申请人(一审原告、二审被上诉人)', '被申请人(原审原告)']

defendant_titles = ['(一审被告、二审被上诉人)', '一审被告', '一审被告(二审上诉人)', '一审被告、二审被上诉人', '一审被告二审上诉人)', 
                   '上上诉人(原审被告)', '上诉人(一审被告)', '上诉人(原审第一被告)', '上诉人(原审被告)',
 '上诉人(原审被告、反诉原告)',
 '上诉人(原审被告一)', '上诉人(被告)', '公益诉讼出庭人', '再审申请人(一审被告)',
 '再审申请人(一审被告、二审上诉人)',
 '再审申请人(一审被告、二审被上诉人)', '再审申请人(再审被告)', '再审申请人(原审被告)', '原审当事人(原审被告)',
 '原审第三被告',
 '原审第二被告',
 '原审被告',
 '原审被告(反诉原告)', '特别授权被告', '申请再审人(原审被告)',
 '第一被告', '第三被告',
 '第二被告',
 '被上诉人',
 '被上诉人(一审被告)', '被上诉人(原审第三人)',
 '被上诉人(原审被告)',
 '被上诉人(原审被告、反诉原告)',
 '被上诉人(原审被告人)', '被告',
 '被告(反诉原告)',
 '被告一',
 '被告二', '被申诉人(一审被告,二审被上诉人)',
 '被申诉人(一审被告、二审上诉人)',
 '被申诉人(一审被告、二审被上诉人)',
 '被申诉人(一审被告、二审被上诉人、再审被申请人)',
 '被申诉人(一审被告、二审被上诉人、原再审被申请人)',
 '被申诉人(原审被告)',
 '被申请人', '被申请人(一审被告)',
 '被申请人(一审被告,二审被上诉人)',
 '被申请人(一审被告、二审上诉人)',
 '被申请人(一审被告、二审被上诉人)', '被申请人(原审被告)', '被申请人(原审被告、二审被上诉人)']

cases = [(n, d) for n, d in csv_graph.nodes(data=True) \
               if d['bipartite']==0]
plaintiffs = [(e1, e2, d) for e1, e2, d in csv_graph.edges(nbunch=[n[0] for n in cases], data=True) \
                    if d['title'] in plaintiff_titles]
defendants = [(e1, e2, d) for e1, e2, d in csv_graph.edges(nbunch=[n[0] for n in cases], data=True) \
                    if d['title'] in defendant_titles]

#统计活跃原告个人金额和赢率的关系

pd_plaintiffs = pd.DataFrame({"case_id": [i[0] for i in plaintiffs], "plaintiff": [i[1] for i in plaintiffs]})
pd_defendants = pd.DataFrame(({"case_id": [i[0] for i in defendants], "defendant": [i[1] for i in defendants]}))
pd_cases = pd.DataFrame({"case_id": [i[0] for i in cases], \
                        "judgement_date": [i[1]['judgement_date'] for i in cases], \
                         "is_success": [i[1]['is_success'] for i in cases], \
#                          "lat": [i[1]['lat'] for i in cases], \
#                          "lon": [i[1]['lon'] for i in cases], \
                         "court_name": [i[1]['court_name'] for i in cases], \
                         "procedure": [i[1]['procedure'] for i in cases], \
                         "judge": [i[1]['judge'] for i in cases], \
                         "legalfee": [i[1]['legalfee'] for i in cases], \
                         "objectmoney": [i[1]['objectmoney'] for i in cases], \
                         "province": [i[1]['province'] for i in cases], \
                         "city": [i[1]['city'] for i in cases], \
                         "reason": [i[1]['reason'] for i in cases], \
                         "district": [i[1]['district'] for i in cases], \
                         "penalty": [i[1]['penalty'] for i in cases]})
pd_cases['year'] = pd.DatetimeIndex(pd_cases['judgement_date']).year
pd_cases['month'] = pd.DatetimeIndex(pd_cases['judgement_date']).month
pd_cases['day'] = pd.DatetimeIndex(pd_cases['judgement_date']).day
all_cases = pd_cases.merge(pd_plaintiffs, on="case_id", how="left")
all_cases = all_cases.merge(pd_defendants, on="case_id", how="left")
all_cases.drop(all_cases[all_cases['plaintiff'].isin(["XX", "xx", "**"])].index, inplace=True) #delete the cases with invalid plaintiff name

all_cases['is_success'].drop_duplicates()

0           TRUE
2          FALSE
11177    unknown
Name: is_success, dtype: object

所有一审案件及其前200个活跃原告

#获取所有一审案件
first_cases = all_cases[all_cases['procedure']=="一审"]
print("一审案件数量： ", len(first_cases['case_id'].drop_duplicates()))

# 获取所有案件原告的节点度并排序
degree_1stplaintiffs = first_cases.groupby("plaintiff")['case_id'].unique().reset_index()
degree_1stplaintiffs['case_count'] = degree_1stplaintiffs['case_id'].apply(lambda r: len(r))
degree_1stplaintiffs.sort_values(by="case_count", inplace=True, ascending=False)
fps_200 = degree_1stplaintiffs[:200]
fps_200

一审案件数量：  32445

	plaintiff	case_id	case_count
1482	张丙刚	[5a39bdcee138233419f20ee5, 5ec89df9401b5029842...	605
4022	贾龙	[57a953ccc2265c04d1f53ceb, 57a7e3cec2265c04d1e...	473
448	刘庆生	[5810d7902f12c631929401b7, 57a96425c2265c28a54...	438
3628	胡玉宝	[581211f72f12c63192caff8b, 581030f32f12c631927...	433
3490	罗伟	[595ee0c7f75d3f7286d4abf4, 59e30e9de13823d5d95...	387
...	...	...	...
4732	韩进虎	[57a924d5c2265c04d1f3cdaa, 57a93e4ac2265c04d1f...	30
4816	马超	[5ec834b67116c36f1b9238e4, 5badf514dc9c5352aec...	30
104	付星	[57abe374c2265c25898623df, 58110d742f12c631929...	29
184	何林松	[5ec930c23cdef0087eb0f276, 5e9a325fe2f4b705184...	29
221	余定勇	[58271c3f2f12c65b4adab57d, 588e5ce65a0d8472520...	29

200 rows × 3 columns

活跃原告性别及年龄统计

def append_gender_birth(row):
    row['gender'] = csv_graph.nodes[row['plaintiff']]['gender']
    row['birth_date'] = csv_graph.nodes[row['plaintiff']]['birth_date']
    return row
fps_200 = fps_200.apply(lambda row: append_gender_birth(row), axis=1)
fps_200['digital_birth'] = fps_200['birth_date'].apply(lambda r: ".".join(re.split('年|月|日',str(r))[:-1]))
fps_200['age'] = fps_200['digital_birth'].apply(lambda r: 2021-int(str(r).split(".")[0]) if str(r)!='' else None)
fps_200.head()

	plaintiff	case_id	case_count	gender	birth_date	digital_birth	age
1482	张丙刚	[5a39bdcee138233419f20ee5, 5ec89df9401b5029842...	605	男	1965年2月5日	1965.2.5	56.0
4022	贾龙	[57a953ccc2265c04d1f53ceb, 57a7e3cec2265c04d1e...	473	男	1988年4月1日	1988.4.1	33.0
448	刘庆生	[5810d7902f12c631929401b7, 57a96425c2265c28a54...	438	男	1975年10月11日	1975.10.11	46.0
3628	胡玉宝	[581211f72f12c63192caff8b, 581030f32f12c631927...	433	男	1986年5月14日	1986.5.14	35.0
3490	罗伟	[595ee0c7f75d3f7286d4abf4, 59e30e9de13823d5d95...	387	男	1984年10月4日	1984.10.4	37.0

#性别统计
fig = px.bar(
    fps_200.groupby('gender')['case_id'].count().reset_index(), 
    x = 'gender',
    y = 'case_id', 
    title = "Gender Distribution of Active Plaintiffs"
)
fig.show()

#年龄统计
fig = px.histogram(
    fps_200, 
    x = 'age', 
    nbins = 5, 
    title = "Age Distribution of Active Plaintiffs"
)
fig.update_layout(bargap=0.2)
fig.show()

2. 针对前两百活跃原告的统计信息

2.1 活跃原告案件数量，胜诉案，赢率， 惩罚金，标的，案由在时间地区的分布，法院法官频率，以及诉讼费的比例

new_selected_1stcp = first_cases[first_cases['plaintiff'].isin(fps_200['plaintiff'])]

new_selected_1stcp.groupby(["province", "is_success"])['case_id'].nunique().reset_index()

	province	is_success	case_id
0	上海市	FALSE	17
1	上海市	TRUE	188
2	云南省	TRUE	10
3	北京市	FALSE	143
4	北京市	TRUE	1835
5	吉林省	FALSE	1
6	四川省	FALSE	42
7	四川省	TRUE	186
8	天津市	FALSE	493
9	天津市	TRUE	2496
10	宁夏回族自治区	FALSE	2
11	宁夏回族自治区	TRUE	29
12	安徽省	FALSE	10
13	安徽省	TRUE	84
14	山东省	FALSE	10
15	山东省	TRUE	9
16	广东省	FALSE	177
17	广东省	TRUE	1194
18	广西壮族自治区	FALSE	86
19	广西壮族自治区	TRUE	282
20	江苏省	FALSE	46
21	江苏省	TRUE	99
22	江西省	TRUE	2
23	河北省	TRUE	6
24	河南省	FALSE	2
25	河南省	TRUE	47
26	浙江省	FALSE	5
27	浙江省	TRUE	45
28	海南省	TRUE	2
29	湖北省	FALSE	37
30	湖北省	TRUE	180
31	湖南省	FALSE	16
32	湖南省	TRUE	13
33	福建省	FALSE	220
34	福建省	TRUE	6
35	贵州省	TRUE	49
36	辽宁省	FALSE	68
37	辽宁省	TRUE	945
38	重庆市	FALSE	757
39	重庆市	TRUE	6043
40	陕西省	FALSE	1
41	陕西省	TRUE	133
42	黑龙江省	FALSE	3
43	黑龙江省	TRUE	42

new_selected_1stcp_chongqing = new_selected_1stcp[new_selected_1stcp['province']=="重庆市"]
gbcq_nselected_1stcp_cc = new_selected_1stcp_chongqing.groupby('year')['case_id'].nunique().reset_index()
gbcq_nselected_1stcp_sc = new_selected_1stcp_chongqing[new_selected_1stcp_chongqing['is_success']=="TRUE"].groupby('year')['case_id'].nunique().reset_index()
gbcq_nselected_1stcp_cc.rename(columns={"case_id": "case_count"}, inplace=True)
gbcq_nselected_1stcp_sc.rename(columns={"case_id": "success_count"}, inplace=True)
gbcq_nselected_1stcp = gbcq_nselected_1stcp_cc.merge(gbcq_nselected_1stcp_sc, how='left')

gbcq_nselected_1stcp.head()

	year	case_count	success_count
0	2014	21	21
1	2015	141	132
2	2016	418	388
3	2017	2524	2158
4	2018	1876	1710

fig = px.bar(
    gbcq_nselected_1stcp, 
    x = "year", 
    y = ["case_count", "success_count"],
    title = "The Distribution of cases and success cases related with the first 200 active plaintiffs in Chongqing"
)
fig.update_layout(barmode="group")
fig.show()

new_selected_1stcp_chongqing = new_selected_1stcp[new_selected_1stcp['province']=="重庆市"]

new_selected_1stcp_chongqing['plaintiff'].drop_duplicates()

147       秦东
159      况力彬
198       晏勇
244      强大应
458      周开礼
        ... 
41944     李军
42026    任满仓
43977     王飞
45582    陈浩天
48261    代国海
Name: plaintiff, Length: 63, dtype: object

# 案件数量，胜诉案数量-时间
time_nselected_1stcp_cc = new_selected_1stcp.groupby("year")['case_id'].nunique().reset_index()
time_nselected_1stcp_cc.rename(columns={"case_id": "case_count"}, inplace=True)
time_nselected_1stcp_sc = new_selected_1stcp[new_selected_1stcp['is_success']=="TRUE"].groupby("year")['case_id'].nunique().reset_index()
time_nselected_1stcp_sc.rename(columns={"case_id": "success_count"}, inplace=True)
time_nselected_1stcp = time_nselected_1stcp_cc.merge(time_nselected_1stcp_sc, how="left")
time_nselected_1stcp.fillna(0, inplace=True)
display(time_nselected_1stcp.head())

	year	case_count	success_count
0	2014	147	142
1	2015	633	593
2	2016	1639	1494
3	2017	6798	6017
4	2018	3539	3109

案件数量，胜诉案数量-时间 画图

# 案件数量，胜诉案数量-时间 画图
fig = px.bar(time_nselected_1stcp, x="year", y=["case_count", "success_count"])
fig.update_layout(barmode='group')
fig.show()

# 案件数量，胜诉案数量-省份
province_nselected_1stcp_cc = new_selected_1stcp.groupby("province")['case_id'].nunique().reset_index()
province_nselected_1stcp_cc.rename(columns={"case_id": "case_count"}, inplace=True)
province_nselected_1stcp_sc = new_selected_1stcp[new_selected_1stcp['is_success']=="TRUE"].groupby("province")['case_id'].nunique().reset_index()
province_nselected_1stcp_sc.rename(columns={"case_id": "success_count"}, inplace=True)
province_nselected_1stcp = province_nselected_1stcp_cc.merge(province_nselected_1stcp_sc, how="left")
province_nselected_1stcp.fillna(0, inplace=True)
display(province_nselected_1stcp.head())

	province	case_count	success_count
0	上海市	205	188.0
1	云南省	10	10.0
2	北京市	1978	1835.0
3	吉林省	1	0.0
4	四川省	228	186.0

案件数量，胜诉案数量-省份 画图

# 案件数量，胜诉案数量-省份 画图
fig = px.bar(province_nselected_1stcp, x="province", y=["case_count", "success_count"])
fig.update_layout(barmode='group')
fig.show()

# 案件数量，胜诉案，胜率-时间和省份
tp_nselected_1stcp_cc = new_selected_1stcp.groupby(["year", "province"])['case_id'].nunique().reset_index()
tp_nselected_1stcp_cc.rename(columns={"case_id": "case_count"}, inplace=True)
tp_nselected_1stcp_sc = new_selected_1stcp[new_selected_1stcp['is_success']=="TRUE"].groupby(["year", "province"])['case_id'].nunique().reset_index()
tp_nselected_1stcp_sc.rename(columns={"case_id": "success_count"}, inplace=True)
tp_nselected_1stcp = tp_nselected_1stcp_cc.merge(tp_nselected_1stcp_sc, how="left")
tp_nselected_1stcp.fillna(0, inplace=True)
# tp_nselected_1stcp = tp_nselected_1stcp.apply(lambda row: find_lonlat_province(row), axis=1)
tp_nselected_1stcp["year"] = tp_nselected_1stcp["year"].astype(str)
display(tp_nselected_1stcp.head())

	year	province	case_count	success_count
0	2014	上海市	20	17.0
1	2014	北京市	21	21.0
2	2014	天津市	1	1.0
3	2014	安徽省	10	10.0
4	2014	广东省	40	38.0

# 为了方便展示趋势，这里将所有数据归一化，只是更改一下缩放的范围，不会改变其分布）
tp_nselected_1stcp['success_rate'] = tp_nselected_1stcp['success_count'] / tp_nselected_1stcp['case_count']
num_list = list(tp_nselected_1stcp['case_count']) + list(tp_nselected_1stcp['success_count'])
print(len(num_list))
half_num_list = len(num_list)/2
amin, amax = min(num_list), max(num_list)
for i, val in enumerate(num_list):
    num_list[i] = (val-amin) / (amax-amin)
tp_nselected_1stcp['norm_case_count'] = num_list[:119]
tp_nselected_1stcp['norm_success_count'] = num_list[119:]
tp_nselected_1stcp = tp_nselected_1stcp.sort_values(by=['year', 'province'], ascending=True)
display(tp_nselected_1stcp[tp_nselected_1stcp['province']=="河北省"])

238

	year	province	case_count	success_count	success_rate	norm_case_count	norm_success_count
22	2015	河北省	3	3.0	1.0	0.001189	0.001189
40	2016	河北省	1	1.0	1.0	0.000396	0.000396
59	2017	河北省	2	2.0	1.0	0.000792	0.000792

胜率和时间省份的图

# 胜率和时间省份的图
fig = px.choropleth_mapbox(
    data_frame = tp_nselected_1stcp,
    geojson = provinces_map,
    color = 'success_rate',
    locations = "province",
    featureidkey = "properties.NL_NAME_1",
    color_continuous_scale = px.colors.sequential.Magenta, 
    center = {"lat": 37.110573, "lon": 106.493924},
    animation_frame = "year",
    zoom = 3,
    hover_data = ['case_count'], 
    title = "Temporal & Gerographical Distribution of Success Rate"
)
fig.update_layout(height = 800)
fig.layout.updatemenus[0].buttons[0].args[1]['frame']['duration'] = 2000
fig.show()

案件数量， 胜诉案，胜率-时间和省份 画图

# 案件数量， 胜诉案，胜率-时间和省份 画图
provinces = list(tp_nselected_1stcp['province'].drop_duplicates())[:]
print(provinces)
fig = make_subplots(rows=6, cols=5, subplot_titles=provinces)
for i in range(1, len(provinces)+1):
    col = int(i%5) if i%5!=0 else 5
    row = int((i-col+5)/5)
    fig.add_trace(
        go.Bar(
            x = tp_nselected_1stcp[tp_nselected_1stcp['province']==provinces[i-1]]['year'], 
            y = tp_nselected_1stcp[tp_nselected_1stcp['province']==provinces[i-1]]['norm_case_count'], 
            hovertext = tp_nselected_1stcp[tp_nselected_1stcp['province']==provinces[i-1]]['case_count'],
            showlegend=False,
        ), 
        col = col,
        row = row,
    ),
    fig.add_trace(
        go.Bar(
            x = tp_nselected_1stcp[tp_nselected_1stcp['province']==provinces[i-1]]['year'], 
            y = tp_nselected_1stcp[tp_nselected_1stcp['province']==provinces[i-1]]['norm_success_count'], 
            hovertext = tp_nselected_1stcp[tp_nselected_1stcp['province']==provinces[i-1]]['success_count'],
            showlegend=False,
        ), 
        col = col,
        row = row,
    ),
    fig.add_trace(
        go.Scatter(
            x = tp_nselected_1stcp[tp_nselected_1stcp['province']==provinces[i-1]]['year'], 
            y = tp_nselected_1stcp[tp_nselected_1stcp['province']==provinces[i-1]]['success_rate'],
            mode = 'lines',
            name = 'success_rate' + str(provinces[i-1]), 
            showlegend=False,
        ),
        col = col,
        row = row,
    )
fig.update_yaxes(matches=None, showticklabels=True, visible=True)
fig.update_layout(barmode='group', width=1000, height=1500)
offline.iplot(fig)

['上海市', '北京市', '天津市', '安徽省', '广东省', '广西壮族自治区', '江苏省', '河南省', '浙江省', '辽宁省', '重庆市', '陕西省', '黑龙江省', '四川省', '山东省', '河北省', '湖北省', '吉林省', '湖南省', '云南省', '海南省', '福建省', '贵州省', '宁夏回族自治区', '江西省']

案件数量-地理信息 画图

# 案件数量-地理信息 画图
fig = px.choropleth_mapbox(
    data_frame = tp_nselected_1stcp,
    geojson = provinces_map,
    color = 'case_count',
    locations = "province",
    featureidkey = "properties.NL_NAME_1",
    color_continuous_scale = px.colors.sequential.Magenta, 
    center = {"lat": 37.110573, "lon": 106.493924},
    animation_frame = "year",
    zoom = 3,
    title = "Temporal & Gerographical Distribution of Cases"
)
fig.update_layout(height = 800)
fig.layout.updatemenus[0].buttons[0].args[1]['frame']['duration'] = 2000
fig.show()

惩罚金-时间地区

# 惩罚金-时间地区
penalty_nselected_1stcp = new_selected_1stcp\
[new_selected_1stcp['is_success']=="TRUE"].\
replace(0, pd.np.nan).dropna(subset=['penalty'])\
.groupby('province')['penalty'].mean().reset_index()

<ipython-input-34-27afd9982915>:4: FutureWarning:

The pandas.np module is deprecated and will be removed from pandas in a future version. Import numpy directly instead

fig = px.box(
    new_selected_1stcp[new_selected_1stcp['is_success']=="TRUE"].replace(0, pd.np.nan).dropna(subset=['penalty']).sort_values(by='year'),
#     new_selected_1stcp, 
    x = "year", 
    y = "penalty", 
    title = "Temporal Distribution of Penalties")
fig.update_yaxes(type="log")
fig.show()

<ipython-input-35-7e00e381808f>:2: FutureWarning:

The pandas.np module is deprecated and will be removed from pandas in a future version. Import numpy directly instead

geo_fig = px.choropleth_mapbox(
    data_frame = penalty_nselected_1stcp,
    geojson = provinces_map,
    color = np.log10(penalty_nselected_1stcp['penalty']),
    locations = "province",
    featureidkey = "properties.NL_NAME_1",
    center={"lat": 37.110573, "lon": 106.493924},
    zoom = 3,
    hover_data = ['penalty'], 
    title = "Geographical Distribution of Penalties"
)
geo_fig.update_layout(height = 600)
geo_fig.show()

# invalid penalty has been corrected
# new_selected_1stcp[(new_selected_1stcp['province']=="福建省") & (new_selected_1stcp['is_success']=="TRUE")]

标的-时间地区

# 标的-时间地区
object_nselected_1stcp = new_selected_1stcp.replace(0, pd.np.nan).dropna(subset=['objectmoney']).groupby('province')['objectmoney'].mean().reset_index()

<ipython-input-38-27c71531ac4e>:2: FutureWarning:

The pandas.np module is deprecated and will be removed from pandas in a future version. Import numpy directly instead

# 该案件的信息也已修正
# new_selected_1stcp[(new_selected_1stcp['province']=="河北省") & (new_selected_1stcp['objectmoney']>6000)]

fig = px.box(
    new_selected_1stcp.replace(0, pd.np.nan).dropna(subset=['objectmoney']), 
    x = "year", 
    y = "objectmoney", 
    title = "Temporal Distribution of Object Money"
)
fig.update_yaxes(type="log")
fig.show()

<ipython-input-40-356554d7092b>:2: FutureWarning:

The pandas.np module is deprecated and will be removed from pandas in a future version. Import numpy directly instead

#福建省的标的是否真的很低
# new_selected_1stcp[(new_selected_1stcp['province']=="福建省") & (new_selected_1stcp['objectmoney']>0)]
#在和原文对比后，标的低是真的，福建省的活跃原告专门针对小标的食品发起诉讼

geo_fig = px.choropleth_mapbox(
    data_frame = object_nselected_1stcp,
    geojson = provinces_map,
    color = np.log10(object_nselected_1stcp['objectmoney']),
    locations = "province",
    featureidkey = "properties.NL_NAME_1",
    center={"lat": 37.110573, "lon": 106.493924},
    zoom = 3,
    hover_data = ['objectmoney'], 
    title = "Geographical Distribution of Object Money"
)
geo_fig.update_layout(height = 600)
geo_fig.show()

print("----- The basic information of legal fee -----")
new_selected_1stcp['legalfee'].describe()

----- The basic information of legal fee -----

count    20825.000000
mean        72.895798
std        328.717915
min          0.000000
25%         25.000000
50%         25.000000
75%         25.000000
max      25240.000000
Name: legalfee, dtype: float64

诉讼费比例

# 诉讼费比例
fig = px.histogram(
    new_selected_1stcp, 
    x = "legalfee", 
    nbins = 50)
fig.update_yaxes(type="log")
fig.update_layout(bargap=0.2)
fig.show()

new_selected_1stcp[new_selected_1stcp['legalfee']>10000] # 检查了一下原文，这个异常数据是存在的

	case_id	judgement_date	is_success	court_name	procedure	judge	legalfee	objectmoney	province	city	reason	district	penalty	year	month	day	plaintiff	defendant
42229	5ec82a317116c36f1b5ba08f	2018-12-17	TRUE	北京市海淀区人民法院	一审	杨凤新	25240.0	209550.0	北京市	北京市	买卖合同纠纷	海淀区	2095500.0	2018	12	17	王伟	北京龙水金山餐饮管理有限公司

new_selected_1stcp[new_selected_1stcp['province']=="福建省"]['plaintiff'].drop_duplicates()

29379    周仰峰
41952    周开礼
Name: plaintiff, dtype: object

案由-时间地区

# 案由-时间地区
reason_nselected_1stcp = new_selected_1stcp.groupby(['year', 'province', 'reason'])['case_id'].nunique().reset_index()
reason_nselected_1stcp.rename(columns={"case_id": "case_count"}, inplace=True)

new_selected_1stcp[new_selected_1stcp['reason']=="物业服务合同纠纷"]

	case_id	judgement_date	is_success	court_name	procedure	judge	legalfee	objectmoney	province	city	reason	district	penalty	year	month	day	plaintiff	defendant
21027	592f2755e13823667214d92e	2017-05-18	TRUE	沈阳市大东区人民法院	一审	吴菁菲	25.0	9.8	辽宁省	沈阳市	物业服务合同纠纷	大东区	1000.0	2017	5	18	李志伟	沈阳沃尔玛百货有限公司
25884	5ec819e27116c36f1b041de5	2017-08-03	TRUE	重庆市南岸区人民法院	一审	张敏	25.0	32.3	重庆市	重庆市	物业服务合同纠纷	南岸区	1000.0	2017	8	3	张伟	重庆好又多百货商业有限公司大礼堂店

fig = px.bar(
    reason_nselected_1stcp, 
    x = "province", 
    color = "reason", 
    y = "case_count", 
    facet_row = "year", 
    title = "Temporal & Geographical Distribution of Reasons"
)
fig.update_layout(width=1000, height=800)
fig.show()
# 人为修正不正常的案由

# strange案由的案件id号码
strange_reasons = all_cases[all_cases['reason'].isin(['商品房销售合同纠纷', 
                                                      '物业服务合同纠纷', 
                                                      '合伙协议纠纷', 
                                                      '产品运输者责任纠纷', 
                                                      '伪造、冒用产品质量标志纠纷', 
                                                      '财产损害赔偿纠纷', 
                                                      '金融借款合同纠纷', 
                                                      '信用卡纠纷', 
                                                      '抵押权纠纷', 
                                                      '公司合并纠纷', 
                                                      '民间借贷纠纷', 
                                                      '加工合同纠纷', 
                                                      '旅店服务合同纠纷'])]['case_id'].drop_duplicates()
strange_reasons

238      57aa8b7fc2265c28a556c857
677      57a9cb21c2265c25897245e9
1338     57a934b8c2265c28a54b4e1c
3009     581136b32f12c63192b38458
3096     57a8fad4c2265c28a54999c2
4776     57b31323c2265c322870f157
4893     57b2592dc2265c08f3040910
5114     585742f48a8603cee006b5e2
5714     5865dc958a860383c427ec8f
8630     5a613378e13823174f977f9d
8706     5b966a1b680ab76ef724bba2
13062    57b32da9c2265c31297bd52f
14588    57c89128c2265c2da5356e2f
14764    57f72a1f2f12c61c087dcf96
15378    58f505bcc3666e0d96627d43
16161    5890028a381692730138f8a5
16256    5853bdb8c3666e9c553b43e9
19337    591ca9b4e138231346aabfa9
21027    592f2755e13823667214d92e
21611    5aa80b7ae13823e8207cdcee
21920    5963ec89f75d3f5b956d139c
22449    5963ec99f75d3f5b956d13b8
22738    5963ebcef75d3f5b956d126d
23672    5ec7f8837116c36f1b3cccb0
24264    5a626f5be138237746b6fbd8
24897    5a232be1e13823b521d57bab
25884    5ec819e27116c36f1b041de5
27124    5a10b72ce13823d89d49575a
29547    5ec829247116c36f1b5530a1
33690    5b98d9f1c7403174bbddac23
34281    5ca56f2d83379e42cc19aee3
34577    5b157813e138231eacc419dc
38263    5ee07b423edbe71b2f96cf0c
38344    5ec9356d3cdef0087edcb7be
38404    5ec9356e3cdef0087edcbd09
39525    5c9e08df97153c3aa092dabb
40161    5c03aaa15baa473311b5e711
40359    5c9dc6553ff5e6327440dbb7
40610    5c9a3f2a8ec4b63a1e9f5880
40778    5c9a3e808ec4b63a1e9f2992
40915    5bdff5655889af43310b6d1c
40956    5be04aa85889af43310e4465
41656    5ec8246a7116c36f1b40c783
41748    5ec808427116c36f1b98f327
42609    5ec7e7057116c36f1bcf9df1
43693    5ced5a066f6d8055b0bc2c01
45629    5ec92eca3cdef0087ea5fcb5
45913    5d7158d770bd387e38b85199
46994    5da6e77aa24985727534d4b7
47047    5ec89d9e401b502984270882
48443    5ec930253cdef0087ead2f91
Name: case_id, dtype: object

法院-所有案件和胜诉案件的频率

new_selected_1stcp = new_selected_1stcp.replace("、重庆市北碚区人民法院", "重庆市北碚区人民法院")

#法院-所有案件和胜诉案件的频率
court_nselected_1stcp = new_selected_1stcp.groupby(['court_name', 'is_success'])['case_id'].nunique().reset_index()
court_nselected_1stcp.rename(columns={"case_id": "case_count"}, inplace=True)
court_nselected_1stcp['success_flag'] = court_nselected_1stcp['is_success'].apply(lambda r: "True" if r=="TRUE" else "FALSE")
court_nselected_1stcp

	court_name	is_success	case_count	success_flag
0	三亚市城郊人民法院	TRUE	1	True
1	上海市嘉定区人民法院	FALSE	1	FALSE
2	上海市嘉定区人民法院	TRUE	1	True
3	上海市奉贤区人民法院	TRUE	1	True
4	上海市宝山区人民法院	TRUE	2	True
...	...	...	...	...
429	韩城市人民法院	TRUE	2	True
430	高青县人民法院	TRUE	1	True
431	黄石市黄石港区人民法院	TRUE	1	True
432	齐齐哈尔市建华区人民法院	TRUE	1	True
433	龙里县人民法院	TRUE	4	True

434 rows × 4 columns

fig = px.bar(
    court_nselected_1stcp, 
    x = "court_name", 
    y = 'case_count', 
    color = "success_flag"
)
fig.show()

法官-所有案件和胜诉案件的频率

#法官-所有案件和胜诉案件的频率
judge_nselected_1stcp = new_selected_1stcp.groupby(['judge', 'is_success'])['case_id'].nunique().reset_index()
judge_nselected_1stcp.rename(columns={"case_id": "case_count"}, inplace=True)
judge_nselected_1stcp['success_flag'] = judge_nselected_1stcp['is_success'].apply(lambda r: "True" if r=="TRUE" else "FALSE")
judge_nselected_1stcp.sort_values(by="case_count", ascending=False)

#法官性别？

	judge	is_success	case_count	success_flag
1238	胡敏	TRUE	457	True
939	欧瑛	TRUE	204	True
1570	陈峰	TRUE	194	True
710	李元兵	TRUE	189	True
1493	郭岩	TRUE	179	True
...	...	...	...	...
1270	范晋宇	FALSE	1	FALSE
783	李淑花	TRUE	1	True
1273	范立莉	FALSE	1	FALSE
781	李洪涛	FALSE	1	FALSE
1095	王玉珏	TRUE	1	True

1774 rows × 4 columns

2.2 活跃原告在地区上的数量分布（包含整体，年份变化，以及其地区垄断的分析）

# 活跃原告数量-时间省份
tpp_nselected_1stcp = new_selected_1stcp.groupby(['year', 'province', 'plaintiff'])['case_id'].nunique().reset_index()
tpp_nselected_1stcp = tpp_nselected_1stcp.groupby(['year', 'province'])['plaintiff'].nunique().reset_index()
# tpp_nselected_1stcp = tpp_nselected_1stcp.apply(lambda row: find_lonlat_province(row), axis=1)
# display(tpp_nselected_1stcp.head())

# 案件数量，胜诉案数量，活跃原告数量-时间省份
# display(tpp_nselected_1stcp.head(), tp_nselected_1stcp.head())
tpp_nselected_1stcp["year"] = tpp_nselected_1stcp["year"].astype(str)
tccscpp_nselected_1stcp = tpp_nselected_1stcp.merge(tp_nselected_1stcp, how="left")
tccscpp_nselected_1stcp.rename(columns={"plaintiff": "plaintiff_count"}, inplace=True)
display(tccscpp_nselected_1stcp.head())

	year	province	plaintiff_count	case_count	success_count	success_rate	norm_case_count	norm_success_count
0	2014	上海市	4	20	17.0	0.85	0.007924	0.006735
1	2014	北京市	6	21	21.0	1.00	0.008320	0.008320
2	2014	天津市	1	1	1.0	1.00	0.000396	0.000396
3	2014	安徽省	2	10	10.0	1.00	0.003962	0.003962
4	2014	广东省	8	40	38.0	0.95	0.015848	0.015055

活跃原告数量-时间省份 地区信息图

# 活跃原告数量-时间省份 地区信息图
geo_fig = px.choropleth_mapbox(
    data_frame = tccscpp_nselected_1stcp,
    geojson = provinces_map,
    color = 'plaintiff_count',
    locations = "province",
    featureidkey = "properties.NL_NAME_1",
#     color_continuous_scale = px.colors.sequential.Teal, 
    center={"lat": 37.110573, "lon": 106.493924},
    animation_frame="year", 
    hover_data=["province", "case_count", "success_count", "success_rate"], 
    zoom = 3,
    title = "Temporal & Geographical Distribution of Active Plaintiffs"
)
geo_fig.update_layout(height = 800)
geo_fig.layout.updatemenus[0].buttons[0].args[1]['frame']['duration'] = 2000
geo_fig.show()
# offline.iplot(geo_fig)

#活跃原告省份pattern
'''
1. 变化不大
2. 由少到多
3. 由多到少
'''
# 省份里活跃原告的分布和该省份赢率以及地方法院的赢率可能有关联

'\n1. 变化不大\n2. 由少到多\n3. 由多到少\n'

# 省份垄断分析
# 所有一审案件不同年份省份的原告数量统计
tpp_1stcp = first_cases.groupby(['year', 'province', 'plaintiff'])['case_id'].nunique().reset_index()
tpp_1stcp = tpp_1stcp.groupby(['year', 'province'])['plaintiff'].nunique().reset_index()
tpp_1stcp.rename(columns={"plaintiff": "original_plaintiff_count"}, inplace=True)

# 所有一审案件不同年份省份的案件数量，胜诉案件数量统计
tp_1stcp_cc = first_cases.groupby(["year", "province"])['case_id'].nunique().reset_index()
tp_1stcp_cc.rename(columns={"case_id": "original_case_count"}, inplace=True)
tp_1stcp_sc = first_cases[first_cases['is_success']=="TRUE"].groupby(["year", "province"])['case_id'].nunique().reset_index()
tp_1stcp_sc.rename(columns={"case_id": "original_success_count"}, inplace=True)
tp_1stcp = tp_1stcp_cc.merge(tp_1stcp_sc, how="left")
tp_1stcp.fillna(0, inplace=True)

tccscpp_1stcp = tpp_1stcp.merge(tp_1stcp, how="left")
display(tccscpp_1stcp.head())

	year	province	original_plaintiff_count	original_case_count	original_success_count
0	2014	上海市	24	62	54.0
1	2014	云南省	3	4	4.0
2	2014	内蒙古自治区	1	1	1.0
3	2014	北京市	35	62	58.0
4	2014	吉林省	5	10	0.0

tccscpp_1stcp["year"] = tccscpp_1stcp["year"].astype(str)
all_tccscpp_1stcp = tccscpp_1stcp.merge(tccscpp_nselected_1stcp, how="left")
all_tccscpp_1stcp.fillna(0, inplace=True)
all_tccscpp_1stcp = all_tccscpp_1stcp[['year', 'province', 'original_plaintiff_count', 'plaintiff_count', \
                                      'original_case_count', 'case_count', 'original_success_count', \
                                       'success_count']]

# 统计活跃分子上诉案件在整体上诉案件中的占比
all_tccscpp_1stcp['monopolistic_plaintiff'] = all_tccscpp_1stcp['case_count'] / all_tccscpp_1stcp['original_case_count']
all_tccscpp_1stcp["year"] = all_tccscpp_1stcp["year"].astype(int)
all_tccscpp_1stcp = all_tccscpp_1stcp.sort_values(by=['year', 'province'], ascending=True)
display(all_tccscpp_1stcp.head())

	year	province	original_plaintiff_count	plaintiff_count	original_case_count	case_count	original_success_count	success_count	monopolistic_plaintiff
0	2014	上海市	24	4.0	62	20.0	54.0	17.0	0.322581
1	2014	云南省	3	0.0	4	0.0	4.0	0.0	0.000000
2	2014	内蒙古自治区	1	0.0	1	0.0	1.0	0.0	0.000000
3	2014	北京市	35	6.0	62	21.0	58.0	21.0	0.338710
4	2014	吉林省	5	0.0	10	0.0	0.0	0.0	0.000000

垄断率超过50%的就可以认定该地区的活跃原告存在垄断现象，画图展示一下

# 垄断率超过50%的就可以认定该地区的活跃原告存在垄断现象，画图展示一下
fig = px.scatter(
    all_tccscpp_1stcp[all_tccscpp_1stcp['monopolistic_plaintiff'] > 0.5], 
    x = "year", 
    y = "monopolistic_plaintiff", 
    color = "province", 
    hover_data=['case_count', 'original_case_count', 'plaintiff_count']
)
fig.update_traces(marker=dict(size=22),
                  selector=dict(mode='markers'))
fig.show()
# 这里是否可以同时限制活跃原告占比以及案件数量阈值？

2.3 活跃原告的活跃年份统计

time_range_selected_1stcp = new_selected_1stcp.groupby('plaintiff')['year'].apply(set).reset_index()

def find_range(row):
    row['year'] = list(row['year'])
    row['active_years'] = len(row['year'])
    row['min_year'] = min(row['year'])
    row['max_year'] = max(row['year'])
    return row

time_range_selected_1stcp = time_range_selected_1stcp.apply(lambda row: find_range(row), axis=1)

# 看一下活跃了七年的原告是谁
time_range_selected_1stcp[time_range_selected_1stcp['active_years']==7]

	plaintiff	year	active_years	min_year	max_year
29	周开礼	[2016, 2017, 2018, 2019, 2020, 2014, 2015]	7	2014	2020

gbtr_selected_1stcp = time_range_selected_1stcp.groupby(['min_year', 'active_years'])['plaintiff'].nunique().reset_index()
gbtr_selected_1stcp = gbtr_selected_1stcp.sort_values(by=['min_year', 'active_years'])

gbtr_selected_1stcp.head()

	min_year	active_years	plaintiff
0	2014	3	2
1	2014	4	8
2	2014	5	9
3	2014	6	12
4	2014	7	1

# 画图
fig = px.bar(
    gbtr_selected_1stcp, 
    x = "active_years", 
    y = "plaintiff", 
    color = "min_year"
)
fig.update_layout(barmode='relative')
fig.show()

2.4 活跃原告退出的原因分析（胜率，金额等等）

fps_1000 = degree_1stplaintiffs[:1000]
nselected_1stcp_1000 = first_cases[first_cases['plaintiff'].isin(fps_1000['plaintiff'])]
# nselected_1stcp_1000 = first_cases
nselected_1stcp_1000.drop(nselected_1stcp_1000[nselected_1stcp_1000['plaintiff'].isin(["XX", "xx", "**", '', '***', 'x', 'X'])].index, inplace=True)
nselected_1stcp_1000

/opt/anaconda3/lib/python3.8/site-packages/pandas/core/frame.py:4163: SettingWithCopyWarning:


A value is trying to be set on a copy of a slice from a DataFrame

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy

	case_id	judgement_date	is_success	court_name	procedure	judge	legalfee	objectmoney	province	city	reason	district	penalty	year	month	day	plaintiff	defendant
3	57abb74ac2265c258984430a	2014-01-28	TRUE	嘉善县人民法院	一审	吕学强	25.0	450.00	浙江省	嘉兴市	民事案由	嘉善县	450.0	2014	1	28	白世桥	嘉善大润发商业有限公司
27	57babb26c2265c5f452d3408	2014-01-08	TRUE	宁陕县人民法院	一审	王晓	50.0	18.00	陕西省	安康市	买卖合同纠纷	宁陕县	180.0	2014	1	8	孙安民	宁陕县永乐商贸有限公司
33	5842f0a72f12c650631af80b	2014-01-20	TRUE	北京市昌平区人民法院	一审	尤文静	25.0	319.00	北京市	北京市	买卖合同纠纷	昌平区	3196.0	2014	1	20	宫效伟	北京华联综合超市股份有限公司昌平分公司
34	5842f0a72f12c650631af80b	2014-01-20	TRUE	北京市昌平区人民法院	一审	尤文静	25.0	319.00	北京市	北京市	买卖合同纠纷	昌平区	3196.0	2014	1	20	宫效伟	北京华联综合超市股份有限公司
36	57b80934c2265c6884a39558	2014-01-06	TRUE	上海市长宁区人民法院	一审	陈婷婷	25.0	356.00	上海市	上海市	买卖合同纠纷	长宁区	3560.0	2014	1	6	阎家明	上海元立投资管理有限公司
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
51948	5ed51a693b3e6922c61ea1b3	2020-05-28	TRUE	湖北省武汉市青山区人民法院	一审	陈娟	25.0	8.92	湖北省	武汉市	产品责任纠纷	青山区	1000.0	2020	5	28	许国抄	沃尔玛(湖北)商业零售有限公司武汉和平大道分店(以下简称沃尔玛和平大道店)
51952	5ed4ce523b3e6922c61a1cda	2020-05-19	TRUE	广东省深圳市龙华区人民法院	一审	王岩	123.0	1620.00	广东省	深圳市	网络购物合同纠纷	龙华区	16200.0	2020	5	19	翁晓燕	深圳市龙华新区龙华君达恒通进出口贸易商行
51962	5eed769ac5fb8255c9bfb343	2020-06-08	TRUE	重庆市江北区人民法院	一审	何琳	25.0	196.86	重庆市	重庆市	产品销售者责任纠纷	江北区	1968.6	2020	6	8	李战江	重庆商社新世纪百货连锁经营有限公司
51963	5eed661bc5fb8255c9bfa0d3	2020-06-09	TRUE	湖北省武汉市汉阳区人民法院	一审	张大国	25.0	4.41	湖北省	武汉市	产品销售者责任纠纷	汉阳区	1000.0	2020	6	9	许国抄	沃尔玛(湖北)商业零售有限公司
51964	5eed7836c5fb8255c9bfb4f1	2020-06-08	TRUE	重庆市江北区人民法院	一审	何琳	25.0	363.59	重庆市	重庆市	产品销售者责任纠纷	江北区	3635.9	2020	6	8	李战江	重庆商社新世纪百货连锁经营有限公司

33241 rows × 18 columns

def split_num_l(num_lst):
    """merge successive num, sort lst(ascending or descending): 'as' or 'des'
    eg: [1, 3,4,5,6, 9,10] -> [[1], [3, 4, 5, 6], [9, 10]]
    """
    num_lst_tmp = [int(n) for n in num_lst]
    sort_lst = sorted(num_lst_tmp)  # ascending
    len_lst = len(sort_lst)
    i = 0
    split_lst = []
    
    tmp_lst = [sort_lst[i]]
    dif_lst = {}
    while True:
        if i + 1 == len_lst:
            break
        next_n = sort_lst[i+1]
        if sort_lst[i] + 1 == next_n:
            tmp_lst.append(next_n)
        else:
#             dif_lst.append(next_n - sort_lst[i])
            split_lst.append(tmp_lst)
            dif_lst[next_n - sort_lst[i]] = tmp_lst
            tmp_lst = [next_n]
        i += 1
    split_lst.append(tmp_lst)
    return dif_lst
def is_exit(row):
    row['is_exit'] = 0
    if (2020 - row['final_year'] >= 2 and row['year'] == row['final_year']): row['is_exit'] = 1
    if len(row['splitted_years']) > 1:
        for k, v in row['splitted_years'].items():
            if k >= 2 and row['year'] == v[-1]:
                row['is_exit'] = 1
    return row
split_num_l([1, 2, 5, 6, 7, 23, 24, 25])

{3: [1, 2], 16: [5, 6, 7]}

#重新定义活跃分子退出
gbnselected_1stcp_1000 = nselected_1stcp_1000.groupby(['plaintiff', 'year'])['case_id'].nunique().reset_index()
df1 = nselected_1stcp_1000.groupby('plaintiff').apply(lambda x: sorted(list(set(x['year'])))).reset_index() 
df1['final_year'] = df1[0].apply(lambda x: max(x))
df1['len_years'] = df1[0].apply(lambda x: len(x))
df1['splitted_years'] = df1[0].apply(lambda x: split_num_l(x))
# df1 = df1.apply(lambda row: is_exit(row), axis=1)
gbnselected_1stcp_1000 = gbnselected_1stcp_1000.merge(df1, how="left")
gbnselected_1stcp_1000 = gbnselected_1stcp_1000.apply(lambda row: is_exit(row), axis=1)
gbnselected_1stcp_1000 = gbnselected_1stcp_1000

tpf_nselected_1stcp_cc = nselected_1stcp_1000.groupby(['plaintiff', 'year'])['case_id'].nunique().reset_index()
tpf_nselected_1stcp_sc = nselected_1stcp_1000[nselected_1stcp_1000['is_success']=="TRUE"].groupby(['plaintiff', 'year'])['case_id'].nunique().reset_index()
tpf_nselected_1stcp_sc.rename(columns={"case_id": "success_count"}, inplace=True)
tpf_nselected_1stcp = tpf_nselected_1stcp_cc.merge(tpf_nselected_1stcp_sc, how="left")
tpf_nselected_1stcp.fillna(0, inplace=True)
tpf_nselected_1stcp.rename(columns={"case_id": "case_count"}, inplace=True)
tpf_nselected_1stcp['success_rate'] = tpf_nselected_1stcp['success_count'] / tpf_nselected_1stcp['case_count']
display(tpf_nselected_1stcp.head())

	plaintiff	year	case_count	success_count	success_rate
0	丁字林	2015	1	0.0	0.0
1	丁字林	2016	3	3.0	1.0
2	丁字林	2017	1	0.0	0.0
3	丁字林	2018	1	1.0	1.0
4	万峰	2016	1	1.0	1.0

tpf_nselected_1stcp_mc = nselected_1stcp_1000.groupby(['plaintiff', 'year'])['penalty'].sum().reset_index()
tpf_nselected_1stcp = tpf_nselected_1stcp.merge(tpf_nselected_1stcp_mc)
tpf_nselected_1stcp.head()

	plaintiff	year	case_count	success_count	success_rate	penalty
0	丁字林	2015	1	0.0	0.0	0.0
1	丁字林	2016	3	3.0	1.0	73168.0
2	丁字林	2017	1	0.0	0.0	0.0
3	丁字林	2018	1	1.0	1.0	0.0
4	万峰	2016	1	1.0	1.0	1000.0

gbtpf_nselected_1stcp_1000 = gbnselected_1stcp_1000.merge(tpf_nselected_1stcp, on=['plaintiff', 'year'], how="left")
gbtpf_nselected_1stcp_1000['sr_last_year'] = gbtpf_nselected_1stcp_1000.groupby('plaintiff')['success_rate'].shift()
gbtpf_nselected_1stcp_1000['penalty_last_year'] = gbtpf_nselected_1stcp_1000.groupby('plaintiff')['penalty'].shift()
# gbtpf_nselected_1stcp_1000 = gbtpf_nselected_1stcp_1000[gbtpf_nselected_1stcp_1000['year']==gbtpf_nselected_1stcp_1000['final_year']]
gbtpf_nselected_1stcp_1000['sr_1yr_drop'] = gbtpf_nselected_1stcp_1000['success_rate'] - gbtpf_nselected_1stcp_1000['sr_last_year']
gbtpf_nselected_1stcp_1000['penalty_1yr_drop'] = gbtpf_nselected_1stcp_1000['penalty'] - gbtpf_nselected_1stcp_1000['penalty_last_year']
gbtpf_nselected_1stcp_1000['total_active_years'] = gbtpf_nselected_1stcp_1000[0].apply(lambda x: len(x))
gbtpf_nselected_1stcp_1000.fillna(0, inplace=True)

gbtpf_nselected_1stcp_1000 = gbtpf_nselected_1stcp_1000.drop(
    gbtpf_nselected_1stcp_1000[(gbtpf_nselected_1stcp_1000['is_exit']==0) &
    (gbtpf_nselected_1stcp_1000['year'] != gbtpf_nselected_1stcp_1000['final_year'])].index)
# gbtpf_nselected_1stcp_1000                                                          

# 查看赢率下降和金额下降是否影响其退出（包含简单的逻辑回归）

fig = px.scatter(
    gbtpf_nselected_1stcp_1000, 
    x = "sr_1yr_drop", 
    y = "penalty_1yr_drop", 
    color = "is_exit"
)
# fig.update_yaxes(type="log")
# fig.update_xaxes(type="log")
fig.show()

from sklearn.linear_model import LogisticRegression
from sklearn.linear_model import LogisticRegressionCV
from sklearn.metrics import confusion_matrix
from sklearn.metrics import classification_report
from sklearn.model_selection import train_test_split

#活跃原告活跃的最后一年的赢率下降程度和获得的惩罚金下降程度是否影响其退出
#目前退出的数据量和未退出的数据量基本相同(500左右)，可以做分类分析
#结果显示并无特别关联的可能
X = gbtpf_nselected_1stcp_1000[['sr_1yr_drop', 'penalty_1yr_drop']].values
y = gbtpf_nselected_1stcp_1000['is_exit'].values
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
# clf = LogisticRegression(random_state=0).fit(X_train, y_train)
clf = LogisticRegressionCV(cv=5, random_state=0).fit(X_train, y_train)
# clf.score(X_test, y_test)
y_pred = clf.predict(X_test)
print(classification_report(y_test, y_pred))

              precision    recall  f1-score   support

           0       0.38      0.24      0.29        93
           1       0.50      0.67      0.57       108

    accuracy                           0.47       201
   macro avg       0.44      0.45      0.43       201
weighted avg       0.45      0.47      0.44       201

看活跃年份与赢率和金额的关系

# 看活跃年份与赢率和金额的关系
fig_penalty = px.box(
    gbtpf_nselected_1stcp_1000.replace(0, pd.np.nan).dropna(subset=['penalty']), 
    x="total_active_years", 
    y="penalty")
fig_penalty.update_yaxes(type="log")
fig_penalty.show()
# 并不是活跃时间越长其涉及案件的惩罚金就越多

<ipython-input-81-2ca6042ab90c>:3: FutureWarning:

The pandas.np module is deprecated and will be removed from pandas in a future version. Import numpy directly instead

2.6 经常被活跃原告告的被告有哪些，次数是多少，按照时间地区划分

new_selected_1stcp.head()

	case_id	judgement_date	is_success	court_name	procedure	judge	legalfee	objectmoney	province	city	reason	district	penalty	year	month	day	plaintiff	defendant
3	57abb74ac2265c258984430a	2014-01-28	TRUE	嘉善县人民法院	一审	吕学强	25.0	450.0	浙江省	嘉兴市	民事案由	嘉善县	450.0	2014	1	28	白世桥	嘉善大润发商业有限公司
27	57babb26c2265c5f452d3408	2014-01-08	TRUE	宁陕县人民法院	一审	王晓	50.0	18.0	陕西省	安康市	买卖合同纠纷	宁陕县	180.0	2014	1	8	孙安民	宁陕县永乐商贸有限公司
36	57b80934c2265c6884a39558	2014-01-06	TRUE	上海市长宁区人民法院	一审	陈婷婷	25.0	356.0	上海市	上海市	买卖合同纠纷	长宁区	3560.0	2014	1	6	阎家明	上海元立投资管理有限公司
69	57babb2bc2265c5f452d3448	2014-03-21	TRUE	宁陕县人民法院	一审	柯秋海	50.0	249.0	陕西省	安康市	买卖合同纠纷	宁陕县	2490.0	2014	3	21	孙安民	李欠海
73	57aa5728c2265c2589773628	2014-03-14	TRUE	北京市石景山区人民法院	一审	赵莹	50.0	0.0	北京市	北京市	产品责任纠纷	石景山区	580.0	2014	3	14	沈凯	北京永辉商业有限公司

gb_selected_all1stcp = new_selected_1stcp.groupby(['defendant', 'year', 'province'])['case_id'].nunique().reset_index()
gb_selected_all1stcp.sort_values(by="case_id", ascending=False)

	defendant	year	province	case_id
1355	天津市人人乐商业有限公司	2017	天津市	1317
3596	重庆永辉超市有限公司	2017	重庆市	625
1404	天津市河东区宽巷子小吃店	2019	天津市	370
2051	成都蓉李记餐饮管理有限公司	2019	天津市	370
1235	四川徽记食品股份有限公司	2017	重庆市	307
...	...	...	...	...
1645	广东民众医药连锁有限公司营安分店	2017	广东省	1
1650	广东永旺天河城商业有限公司佛山东方广场分公司	2017	广东省	1
1651	广东永旺天河城商业有限公司广州五号停机坪分公司	2016	广东省	1
1653	广东盈盛食品有限公司	2019	广西壮族自治区	1
4024	龙里县颖力药房	2018	贵州省	1

4025 rows × 4 columns

defendant_type = ['超市|食品|商场|商业|百货|商贸|经销', '网络|电商|科技|商城|电子', \
                  '饭店|小吃|餐饮|餐厅|酒店', '药', '烟酒|散酒', '消费者|委员会|协会']
def classify_defendant(row_in_pd):
    defendant = row_in_pd['defendant']
    row_in_pd['defendant_type'] = "其他"
    for i in defendant_type:
        temp_types = i.split("|")
        if any([s in str(defendant) for s in temp_types]):
            row_in_pd['defendant_type'] = i
    return row_in_pd
gb_selected_all1stcp = gb_selected_all1stcp.apply(lambda row: classify_defendant(row), axis=1)

new_gb_selected_all1stcp = gb_selected_all1stcp.groupby(['year', 'province', 'defendant_type'])['case_id'].sum().reset_index()
new_gb_selected_all1stcp.rename(columns={"case_id": "case_count"}, inplace=True)

fig = px.bar(
    new_gb_selected_all1stcp, 
    x = "province", 
    color = "defendant_type", 
    y = "case_count", 
    facet_row = "year", 
    title = "Temporal & Geographical Distribution of Defendant"
)
fig.update_layout(width=1000, height=800)
fig.show()

2.7 是否存在某些活跃原告一直在起诉同一被告（看下前200个原告-被告的pair）

dp_new_selected_1stcp = new_selected_1stcp.groupby(['plaintiff', 'defendant'])['case_id'].nunique().reset_index()
dp_new_selected_1stcp.rename(columns={"case_id": "case_count"}, inplace=True)
dp_new_selected_1stcp.sort_values(by="case_count", ascending=False)[:50]
# plaintiff defendant的关系图做可视化

	plaintiff	defendant	case_count
1308	张丙刚	天津市河东区宽巷子小吃店	370
1309	张丙刚	成都蓉李记餐饮管理有限公司	370
1307	张丙刚	北京蓉旺记成都小吃店	229
3287	田晓晓	天津市人人乐商业有限公司	196
509	刘庆生	重庆永辉超市有限公司	161
3087	王玥明	天津市人人乐商业有限公司	133
981	姚金东	重庆永辉超市有限公司	123
3706	简晓华	天津市人人乐商业有限公司	120
4330	贾龙	重庆华润万家生活超市有限公司小龙坎店	117
5051	魏胜武	天津市人人乐商业有限公司	112
1467	张望成	重庆远东百货有限公司	109
3265	田亚超	天津市人人乐商业有限公司	105
1767	徐水江	四川徽记食品股份有限公司	104
4329	贾龙	重庆华润万家生活超市有限公司	102
966	姚金东	福州永德心进出口有限公司	102
3825	胡健	重庆永辉超市有限公司	91
3768	罗伟	重庆永辉超市有限公司	89
473	刘庆生	普宁市好日子食品有限公司	88
4761	陈亚平	重庆市润歌商业有限公司	86
2845	王伟	天津市人人乐商业有限公司	86
373	冯德林	天津市人人乐商业有限公司	83
2684	沈亮	重庆永辉云创科技有限公司	82
468	刘庆生	四川徽记食品股份有限公司	82
4307	贾伟	重庆市润歌商业有限公司	79
1776	徐水江	重庆永辉超市有限公司沙坪坝区新桥分公司	76
2278	李战江	重庆永辉超市有限公司	73
4972	高清燕	天津市人人乐商业有限公司	71
3742	简晓祥	天津市人人乐商业有限公司	69
2951	王志军	天津市人人乐商业有限公司	66
3764	罗伟	重庆商社新世纪百货连锁经营有限公司	65
1859	李世珍	天津市人人乐商业有限公司	64
3288	田晓晓	天津市人人乐商业有限公司华苑购物广场	64
3445	白树兵	天津市人人乐商业有限公司	62
2413	李魁伟	天津市人人乐商业有限公司	61
2325	李波	重庆永辉云创科技有限公司	61
4639	郭福顺	天津市人人乐商业有限公司	58
925	周立民	天津市人人乐商业有限公司	57
3897	胡玉宝	深圳沃尔玛百货零售有限公司重庆九龙广场分店	57
3904	胡玉宝	重庆华润万家生活超市有限公司	56
4786	陈君	深圳沃尔玛百货零售有限公司	54
4660	郭红	天津市人人乐商业有限公司	54
832	周仰峰	锦江麦德龙现购自运有限公司福州仓山商场	53
942	回登梅	天津市人人乐商业有限公司	53
2446	杜文江	重庆顺仕合百货超市有限公司	53
4508	郁德专	重庆永辉超市有限公司	53
4336	贾龙	重庆家乐福商业有限公司沙坪坝店	52
2876	王伟华	重庆市润歌商业有限公司	51
2447	杜渺	天津市人人乐商业有限公司	51
1292	常晓恒	四川徽记食品股份有限公司	50
1301	常晓恒	重庆永辉超市有限公司	50

2.8 活跃原告是否倾向于在自己赢过的法院发起诉讼

（数据中的赢率信息存在不准确的问题，人工修正仍在进行中）

（赢率已修改完成）

new_selected_1stcp.head()

	case_id	judgement_date	is_success	court_name	procedure	judge	legalfee	objectmoney	province	city	reason	district	penalty	year	month	day	plaintiff	defendant
3	57abb74ac2265c258984430a	2014-01-28	TRUE	嘉善县人民法院	一审	吕学强	25.0	450.0	浙江省	嘉兴市	民事案由	嘉善县	450.0	2014	1	28	白世桥	嘉善大润发商业有限公司
27	57babb26c2265c5f452d3408	2014-01-08	TRUE	宁陕县人民法院	一审	王晓	50.0	18.0	陕西省	安康市	买卖合同纠纷	宁陕县	180.0	2014	1	8	孙安民	宁陕县永乐商贸有限公司
36	57b80934c2265c6884a39558	2014-01-06	TRUE	上海市长宁区人民法院	一审	陈婷婷	25.0	356.0	上海市	上海市	买卖合同纠纷	长宁区	3560.0	2014	1	6	阎家明	上海元立投资管理有限公司
69	57babb2bc2265c5f452d3448	2014-03-21	TRUE	宁陕县人民法院	一审	柯秋海	50.0	249.0	陕西省	安康市	买卖合同纠纷	宁陕县	2490.0	2014	3	21	孙安民	李欠海
73	57aa5728c2265c2589773628	2014-03-14	TRUE	北京市石景山区人民法院	一审	赵莹	50.0	0.0	北京市	北京市	产品责任纠纷	石景山区	580.0	2014	3	14	沈凯	北京永辉商业有限公司

pc_nselected_1stcp_cc = new_selected_1stcp.groupby(['plaintiff', 'court_name'])['case_id'].nunique().reset_index()
pc_nselected_1stcp_sc = new_selected_1stcp[new_selected_1stcp['is_success']=="TRUE"].groupby(['plaintiff', 'court_name'])['case_id'].nunique().reset_index()
pc_nselected_1stcp_cc.rename(columns={"case_id": "case_count"}, inplace=True)
pc_nselected_1stcp_sc.rename(columns={"case_id": "success_count"}, inplace=True)
pc_nselected_1stcp = pc_nselected_1stcp_cc.merge(pc_nselected_1stcp_sc, on=['plaintiff', 'court_name'], how="left")
pc_nselected_1stcp.fillna(0, inplace=True)

pc_nselected_1stcp.head()

	plaintiff	court_name	case_count	success_count
0	丛李松	哈尔滨市南岗区人民法院	6	5.0
1	丛李松	哈尔滨市双城区人民法院	3	2.0
2	丛李松	哈尔滨市道外区人民法院	6	6.0
3	丛李松	哈尔滨市道里区人民法院	25	24.0
4	丛李松	哈尔滨市香坊区人民法院	2	2.0

fig = px.scatter(
    pc_nselected_1stcp.drop(pc_nselected_1stcp[pc_nselected_1stcp['success_count']==0].index), 
    x = "case_count", 
    y = "success_count", 
    color = "plaintiff", 
)
# fig.update_yaxes(type="log")
fig.show()

import statsmodels.api as sm
import statsmodels.formula.api as smf

# y = time_nselected_1stcp['next_cc']
# x = time_nselected_1stcp['success_rate']
mod = smf.ols(formula='case_count ~ success_count', data=pc_nselected_1stcp)
model = mod.fit() # 构建最小二乘模型并拟合
print(model.summary()) # 输出回归结果
#是否在输过的法院告的案件就很少或者只告了一次

                            OLS Regression Results                            
==============================================================================
Dep. Variable:             case_count   R-squared:                       0.768
Model:                            OLS   Adj. R-squared:                  0.768
Method:                 Least Squares   F-statistic:                     4179.
Date:                Fri, 04 Jun 2021   Prob (F-statistic):               0.00
Time:                        11:29:25   Log-Likelihood:                -4979.0
No. Observations:                1265   AIC:                             9962.
Df Residuals:                    1263   BIC:                             9972.
Df Model:                           1                                         
Covariance Type:            nonrobust                                         
=================================================================================
                    coef    std err          t      P>|t|      [0.025      0.975]
---------------------------------------------------------------------------------
Intercept         1.3761      0.390      3.525      0.000       0.610       2.142
success_count     1.0283      0.016     64.643      0.000       0.997       1.060
==============================================================================
Omnibus:                     2991.960   Durbin-Watson:                   1.947
Prob(Omnibus):                  0.000   Jarque-Bera (JB):         20797714.391
Skew:                          22.396   Prob(JB):                         0.00
Kurtosis:                     629.558   Cond. No.                         27.5
==============================================================================

Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.

2.9 如果在某一法院赢率很低，是否案件数量也不多